De geschiedenis van kasteel Zevenbergen begint einde 13de eeuw met de familie van Zevenberghen als eigenaar. Rond de jaren 1450 werd het een leen van de Hertogen van Brabant. De familie van Zevenberghen bleef bewoner tot ongeveer 1492 waarna het in handen kwam van diverse eigenaren. Het werd verwoest in 1542 door de troepen van Maarten van Rossem en in 1590 door Spaanse troepen. In 1613 zou het kasteel in opdracht van toenmalig eigenaar Godefroid Houtappel zijn hersteld. De beroemdste eigenaar was Jacques le Roy die in de tweede helft van de 17de eeuw vele verbouwingen liet uitvoeren. In de 18de eeuw werd in opdracht van Ferdinand Vecquemans het kasteel opnieuw verfraaid.
In 1914, bij het begin van de Eerste Wereldoorlog, werd het kasteel door brand verwoest om in 1968 gesloopt te worden. Wat bleef zijn de funderingen van het oude kasteel en enkele dienstgebouwen waarvan de kern teruggaat tot de 18de eeuw.
Op het einde van de Tweede Wereldoorlog schonk de adellijke Valentine De Gilman de Zevenbergen, die sinds 1934 de bijgebouwen bewoonde, de kasteelruïne en twee bijgebouwen met omliggend natuurgebied aan de toenmalige zusters Norbertienen van Duffel, het huidige Convent van Bethlehem. Op de fundamenten van het gesloopte kasteel werd in 1989 het huidige hof Zevenbergen gebouwd dat in 1991 werd ingewijd. Hof Zevenbergen en omgeving werden beschermd als dorpsgezicht in 1993.